package com.at.bigdata.spark.core.rdd.builder

import org.apache.spark.{SparkConf, SparkContext}

/**
 *
 * @author cdhuangchao3
 * @date 2023/3/19 9:52 PM
 */
object Spark02_RDD_File {

  def main(args: Array[String]): Unit = {
    // 环境准备
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(sparkConf)

    // 创建RDD
    // 默认当前环境的根路径(/Users/cdhuangchao3/project/code/spark_demo/spark_proj)为基准
//    val rdd = sc.textFile("datas/1.txt")
    // path也可以是目录
//    val rdd = sc.textFile("datas")
    // 还可以是通配符 *
    val rdd = sc.textFile("datas/1*.txt")
    // 还可以是分布式存储系统路径：HDFS
//    val rdd = sc.textFile("hdfs://...")

    rdd.collect().foreach(println)

    sc.stop()
  }

}
